iT邦幫忙

2026 iThome 鐵人賽

DAY 14
0
自我挑戰組

和AI學習gcp - 建立對話代理系列 第 26

Day26 logging monitoring, 追蹤對話成功率, token消耗量

  • 分享至 

  • xImage
  •  

今天要從dashboard來看 token消耗量 與對話量

這兩個可以從CES原生的metric取得

另外則是在bff的 /query /stream 補上結束時的audit log

  • 在成功回傳前後量測 latency,補 _audit("INFO", "query_success"/"stream_success", latency_ms=..., session_id=...)
  • 各個既有的失敗路徑(agent error 502、timeout、WebSocket 斷線)補上對應的 _audit("ERROR", ...)

D23 的 _audit() 目前只記錄「發起請求」和幾種拒絕情境,沒有記錄「結果」,所以現在完全算不出成功率。CX Agent Studio 內建的 Conversation Outcomes 只看得到「Agent 有沒有答對問題」,看不到 BFF 這層自己的失敗(認證過期、rate limit、WebSocket 斷線)。這兩者互補,缺一都不完整——這是「系統可用性」跟「Agent 回答品質」兩個不同維度,都要顧到。

今天的更動 就可以在gcp的monitoring看到
BFF 成功/失敗次數、BFF Latency P50/P99、CES Token 消耗量、CES 對話數
四張圖


上一篇
Day25 Private Service Connect(PSC)
下一篇
Day27 Budget Alerts (預算警告) 與 Cloud Run 效能調優 (冷啟動優化)
系列文
和AI學習gcp - 建立對話代理30
圖片
  熱門推薦
圖片
{{ item.channelVendor }} | {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言